全身追踪器用于监视和安全目的，例如人跟踪机器人。在中东，统一的人群环境是挑战最新跟踪器的常态。尽管过去文献中记录的跟踪器技术有了很大的改进，但这些跟踪器尚未使用捕获这些环境的数据集进行了培训。在这项工作中，我们在统一的人群环境中开发了一个带有一个特定目标的注释数据集。该数据集是在四种不同的情况下生成的，在四种不同的情况下，目标主要是与人群一起移动，有时会与它们阻塞，而其他时候，相机的目标视图在短时间内被人群阻止。注释后，它用于评估和微调最新的跟踪器。我们的结果表明，与初始预训练的跟踪器相比，基于两个定量评估指标的微调跟踪器在评估数据集上的性能更好。
translated by 谷歌翻译
近年来，人们对建立面孔和名人声音之间的关联的兴趣越来越大，从而利用YouTube的视听信息。先前的工作采用公制学习方法来学习适合关联匹配和验证任务的嵌入式空间。尽管显示出一些进展，但由于依赖距离依赖的边缘参数，运行时训练的复杂性差以及对精心制作的负面采矿程序的依赖，这种制剂是限制性的。在这项工作中，我们假设一个丰富的表示形式以及有效但有效的监督对于实现面部voice关联任务的歧视性关节嵌入空间很重要。为此，我们提出了一种轻巧的插件机制，该机制利用这两种方式中的互补线索以通过正交性约束来根据其身份标签形成丰富的融合杂物并将其簇形成。我们将我们提出的机制作为融合和正交投影（FOP）创造，并在两个流网络中实例化。在Voxceleb1和Mav-Celeb数据集上评估了总体结果框架，其中包括许多任务，包括跨模式验证和匹配。结果表明，我们的方法对当前的最新方法有利，而我们提出的监督表述比当代方法所采用的方法更有效。此外，我们还利用跨模式验证和匹配任务来分析多种语言对面部声音协会的影响。代码可用：\ url {https://github.com/msaadsaeed/fop}
translated by 谷歌翻译
移动对象检测（MOD）是许多计算机视觉应用程序的基本步骤。当从静态或移动的摄像机捕获的视频序列遇到挑战时，MOD变得非常具有挑战性：伪装，阴影，动态背景和照明变化，仅举几例。深度学习方法已成功地应用于竞争性能。但是，为了解决过度拟合的问题，深度学习方法需要大量标记的数据，这是一项艰巨的任务，因为始终无法提供详尽的注释。此外，某些MOD深度学习方法显示了在看不见的视频序列存在下的性能下降，因为在网络学习过程中涉及相同序列的测试和训练分裂。在这项工作中，我们使用图形卷积神经网络（GCNN）提出了MOD作为节点分类问题的问题。我们的算法被称为GraphMod-NET，包括实例分割，背景初始化，特征提取和图形结构。在看不见的视频上测试了GraphMod-NET，并且在无监督，半监督和监督的学习中，在2014年变更检测（CDNET2014）和UCSD背景减法数据集中的最先进方法进行了测试。
translated by 谷歌翻译
神经形态的愿景是一种生物启发技术，它已经引发了计算机视觉界的范式转变，并作为众多应用的关键推动器。该技术提供了显着的优势，包括降低功耗，降低处理需求和通信加速。然而，神经形态摄像机患有大量的测量噪声。这种噪声恶化了基于神经形态事件的感知和导航算法的性能。在本文中，我们提出了一种新的噪声过滤算法来消除不代表观察场景中的实际记录强度变化的事件。我们采用图形神经网络（GNN） - 驱动的变压器算法，称为GNN变换器，将原始流中的每个活动事件像素分类为实木强度变化或噪声。在GNN中，传递一个名为EventConv的消息传递框架，以反映事件之间的时空相关性，同时保留它们的异步性质。我们还介绍了在各种照明条件下生成事件流的近似地面真理标签（KogT1）方法。 Kogtl用于生成标记的数据集，从记录在充满挑战的照明条件下进行的实验。这些数据集用于培训和广泛测试我们所提出的算法。在取消检测的数据集上测试时，所提出的算法在过滤精度方面优于现有方法12％。还对公共数据集进行了额外的测试，以展示在存在照明变化和不同运动动态的情况下所提出的算法的泛化能力。与现有解决方案相比，定性结果验证了所提出的算法的卓越能力，以消除噪音，同时保留有意义的场景事件。
translated by 谷歌翻译
准确且强大的视觉对象跟踪是最具挑战性和最基本的计算机视觉问题之一。它需要在图像序列中估计目标的轨迹，仅给出其初始位置和分段，或者在边界框的形式中粗略近似。判别相关滤波器（DCF）和深度暹罗网络（SNS）被出现为主导跟踪范式，这导致了重大进展。在过去十年的视觉对象跟踪快速演变之后，该调查介绍了90多个DCFS和暹罗跟踪器的系统和彻底审查，基于九个跟踪基准。首先，我们介绍了DCF和暹罗跟踪核心配方的背景理论。然后，我们在这些跟踪范式中区分和全面地审查共享以及具体的开放研究挑战。此外，我们彻底分析了DCF和暹罗跟踪器对九个基准的性能，涵盖了视觉跟踪的不同实验方面：数据集，评估度量，性能和速度比较。通过提出根据我们的分析提出尊重开放挑战的建议和建议来完成调查。
translated by 谷歌翻译
图像二进制技术通常用于增强嘈杂和/或退化的图像来迎合不同文档图像Anlaysis（DIA）应用（如单词斑点，文档检索和OCR）。大多数现有技术都集中在将像素图像馈送到卷积神经网络中以完成文档二进制化，这在使用不完全减压的情况下需要处理的压缩图像时可能不会产生有效的结果。因此，在本研究论文中，通过使用双重鉴别器生成对抗网络（DD-GAN），提出了使用JPEG压缩图像的文档图像二进制的想法。在这里，两个歧视者网络 - 全球和本地工作在不同的图像比率上，并将焦点损失用作发电机损失。提出的模型已通过不同版本的DIBCO数据集进行了彻底的测试，该数据集具有诸如孔，擦除或弄脏的墨水，灰尘和放错地方的挑战。在时间和空间复杂性方面，该模型被证明是高度鲁棒，有效的，并且还导致了JPEG压缩域中的最新性能。
translated by 谷歌翻译
在机器学习中，使用算法 - 不足的方法是一个新兴领域，用于解释单个特征对预测结果的贡献。尽管重点放在解释预测本身上，但已经做了一些解释这些模型的鲁棒性，即每个功能如何有助于实现这种鲁棒性。在本文中，我们建议使用沙普利值来解释每个特征对模型鲁棒性的贡献，该功能以接收器操作特性（ROC）曲线和ROC曲线（AUC）下的面积来衡量。在一个说明性示例的帮助下，我们证明了解释ROC曲线的拟议思想，并可以看到这些曲线中的不确定性。对于不平衡的数据集，使用Precision-Recall曲线（PRC）被认为更合适，因此我们还演示了如何借助Shapley值解释PRC。
translated by 谷歌翻译
端到端（E2E）模型已成为最新语音识别系统的默认选择。此类型号经过大量标记数据的培训，这些数据通常无法用于低资源语言。诸如自我监督学习和转移学习的诺言之类的技术尚未在培训准确的模型中有效。另一方面，在各种域和扬声器集合上收集标记的数据集非常昂贵。在这项工作中，我们通过公共资料中的印度语言，特别是来自印度广播电台的公共档案馆的印度语言的``采矿''文本和音频对展示了这些方法的廉价和有效替代方案。作为关键组件，我们将Needleman-Wunsch算法调整为与相应的音频片段对齐句子，并给定长音频和其转录本的PDF，同时由于OCR，无关紧要的文本和未转录的语音而对错误进行了强大的态度。因此，我们创建了Shrutilipi，这是一个数据集，其中包含超过6,400个小时的12个印度语言标签的音频，总计为495万个句子。平均而言，Shrutilipi导致2.3倍增加了公开可用的标签数据。我们在12种语言中与21种人类评估者建立了Shrutilipi的质量。我们还根据代表区域，说话者和提到的实体建立了Shrutilipi的多样性。值得注意的是，我们表明，将Shrutilipi添加到WAV2VEC模型的训练集中，导致在Indicsuperb基准上的7种语言中，平均降低了5.8 \％。对于具有最多基准的印地语（7），平均水平从18.8％下降到13.5％。这种改进扩展到有效的模型：对于构象异构体模型（比WAV2VEC小10倍），我们显示出2.3％的下降。最后，我们通过证明对其进行训练的模型对嘈杂的输入更强大，证明了Shrutilipi的多样性。
translated by 谷歌翻译
AI研究中的基石是创建和采用标准化培训和测试数据集，以指定最新模型的进度。一个特别成功的例子是用于培训和评估英语自然语言理解（NLU）模型的胶水数据集。围绕基于BERT的语言模型的大量研究围绕着胶水中NLU任务的性能改进。为了评估其他语言的语言模型，创建了几个特定语言的胶水数据集。语音语言理解（SLU）的领域遵循了类似的轨迹。大型自我监督模型（例如WAV2VEC2）的成功实现了具有相对易于访问的未标记数据的语音模型。然后可以在SLU任务（例如出色的基准测试）上评估这些模型。在这项工作中，我们将其扩展到通过释放Indicsuperb基准测试来指示语言。具体来说，我们做出以下三项贡献。 （i）我们收集了Kathbath，其中包含来自印度203个地区的1,218个贡献者的12个印度语言的1,684小时的标记语音数据。 （ii）使用Kathbath，我们在6个语音任务中创建基准：自动语音识别，扬声器验证，说话者识别（单声道/多），语言识别，逐个示例查询以及对12种语言的关键字发现。 （iii）在发布的基准测试中，我们与常用的基线Fbank一起训练和评估不同的自我监督模型。我们表明，在大多数任务上，特定于语言的微调模型比基线更准确，包括对于语言识别任务的76 \％差距。但是，对于说话者识别，在大型数据集上训练的自我监督模型证明了一个优势。我们希望Indicsuperb有助于发展印度语言的语音语言理解模型的进步。
translated by 谷歌翻译
模拟到现实的转移已成为一种流行且非常成功的方法，用于培训各种任务的机器人控制政策。但是，确定在模拟中训练的政策何时准备将其转移到物理世界通常是一个挑战。部署经过很少的模拟数据训练的策略可能会导致物理硬件的不可靠和危险行为。另一方面，模拟中的过度训练会导致策略过度拟合模拟器的视觉外观和动力学。在这项工作中，我们研究了自动确定在模拟中训练的策略何时可以可靠地转移到物理机器人的策略。我们在机器人织物操纵的背景下专门研究了这些思想，因为成功建模织物的动力学和视觉外观的困难，成功的SIM2Real转移尤其具有挑战性。导致织物平滑任务表明我们的切换标准与实际的性能很好地相关。特别是，我们基于信心的切换标准在培训总预算的55-60％之内达到了87.2-93.7％的平均最终面料覆盖率。有关代码和补充材料，请参见https://tinyurl.com/lsc-case。
translated by 谷歌翻译